Frontier-OPD：发现智能体能力边界并教会其超越
🧭 Agent 在线蒸馏 · 学习前沿 ★ 深度解读
Tsinghua University
通过学习前沿动态选择教师干预点，并用学生后续行为验证指导质量，提升多智能体在线蒸馏效果
📌 工作参考价值（4 点）
- 在电商/Agent 微调里，不要随机采样教师补充数据：用 on-policy 学生 rollout 计算 teacher-student token logprob gap，按共享状态聚合，挑『难但可救』的决策点做教师干预，比均匀采样明显提升。
- 状态抽象可复用：把归一化 observation + available actions 哈希成 state key，合并重复访问；同时做 trajectory-balanced 加权，避免死循环轨迹拉高节点分、占用干预预算。
- 教师指导必须验证『学生能否接住』：只加 teacher bridge，不检查后续学生 continuation，会浪费算力；建议用 matched-window agreement gain（bridge+continuation vs 原轨迹等长窗口）做过滤。
- 线上持续学习时，每轮更新后重新采样重建 frontier，让数据分布跟随当前策略；若目标是尽快达到可上线成功率，接受额外单步成本可能反而缩短总训练时间。
长期记忆写入的归因强化学习模型 Hy-Memory-30B-A3B
🧭 Agent 长期记忆写入 · 归因强化学习 ★ 深度解读
Tencent Hunyuan
训练跨 Mem0/MemOS/Hy-Memory 的紧凑记忆写入器，用逐块探针和归因奖励实现细粒度信用分配，平均 55.49% 超过 Claude Opus 5
📌 工作参考价值（4 点）
- 奖励归因替代稀疏终局奖励：若业务中存在多轮 agent 状态管理（如对话策略、用户画像更新），可将单个最终答案分数拆解为逐块局部探针（recall probes + trap probes）与跨块归因结果奖励，用冻结 judge 打分，解决长序列下 credit assignment 问题。
- chunk-level GRPO 思想可迁移：对任何「每个位置有可观察局部结果」的序列决策任务（如生成式推荐中的 item 序列、搜索会话策略），优势按位置分组归一化而非整个 trajectory，避免一个坏动作惩罚所有正确动作，每个 rollout 每位置只投一票。
- 银行隔离与 carry-forward 训练模式：RL 训练时每个 rollout 写入独立 bank，仅选择最佳 bank 进入下一个窗口，保持训练与部署分布一致，避免 teacher forcing。此模式适用于任何维护外部状态的 RL 训练（如推荐系统的长期兴趣状态、购物车策略）。
- 平台故障与策略错误必须区分：坏策略动作应保留为低奖励 trajectory，平台故障（如 API 失败、分页缺失、checkpoint 空）要重试并从分母排除；同时监控 teacher token coverage、chunk-to-segment mapping 等静默失败，避免训练看似正常但梯度为零。
SAKI：基于最大耦合路由的在线策略蒸馏教师监督
🧭 On-policy 蒸馏 · 最大耦合监督路由 ★ 深度解读
Meituan · KTH Royal Institute of Technology
将教师引导 rollout 中的最大耦合修正事件作为 token 级监督路由信号，在信任域内自适应分配教师 Top-1 监督
📌 工作参考价值（4 点）
- 在推荐/广告 LLM 的 on-policy 蒸馏或 RL 微调中，可直接复用 TRB 式几何桥接（q ∝ p^{1-β} T^β，约束 D_KL(q∥p)≤ε）替代纯 student/teacher rollout，减少弱模型早期状态偏移；ε 同时控制 rollout 偏差和 teacher 监督频率，便于工程轻量调控。
- 把最大耦合的 accept/correction 事件作为自适应课程信号，比按 TV/KL 标量加权更精准：只在需要干预的 token 上触发 teacher argmax 强监督，其余位置保留 RKL；这种「稀疏、冲突自适应」的路由可迁移到生成式出词、query 生成、Agent 多步 rollout 的 token 级监督设计。
- 在线教师推理成本高，可借鉴 speculative block verification：student 草稿 K tokens，teacher 批量验证，first rejection 后丢弃后续 KV 并从修正 token 恢复，既保持 exact-q 分布又获得 4.22× 吞吐提升；对需要在线 teacher 参与的策略学习/蒸馏系统有直接工程价值。
- 若业务中有强生成模型作为 teacher、弱模型作为 student，可在高冲突前缀用 teacher Top-1 做硬标签拉齐，而不是始终用分布 KL；论文表明 teacher-mode 比 teacher-sampled 在数学推理上 +0.62 Mean@8 / +1.56 Pass@8，模式寻求更适合冲突位置。
先验证再蒸馏：提示级教师门控的在线策略蒸馏
🧭 On-policy distillation 教师门控 ★ 深度解读
AllSpark Team
通过 verifier 探针按 prompt 门控教师信号，可靠才用稠密 OPD，否则退回 verifier-grounded GRPO
📌 工作参考价值（4 点）
- 蒸馏 / 生成式推荐中不要无条件信任 teacher：可对 teacher 生成的候选或软标签加一道低成本验证。用与最终 reward 一致的验证器（业务规则、点击 / 转化标签、代码单测等）采 KT=3 个样本，按 prompt 级通过率决定是否采用 teacher 信号；不过门就退回基于 outcome 的 GRPO 或直接 mask。
- 利用异步 pipeline 里空闲的 teacher 节点做 reliability probes：推荐系统离线训练中教师打分节点常因等学生 rollout 而闲置，把探针生成放在该窗口可把 GPU 利用率从不足 10% 拉到 70% 以上，end-to-end 时间开销仅约 6%。
- 硬路由优于信号插值：TGOPD 不使用加权混合 OPD 与 GRPO，避免不同密度、不同来源信号互相干扰。工程落地简单，且消融显示大部分收益来自屏蔽坏信号而非 fallback。
- 阈值设置从简：三探针两票通过（KT=3, τ=2/3）或多数投票即可，无需精细排序。对缺少精确 verifier 的开放域任务，可先用可自动判定的弱标签（如规则、分类器）验证，扩展受限时优先关注自信错误的高风险 prompt。
组校准在线策略蒸馏用于长上下文推理
🧭 知识蒸馏 · 长上下文推理
Tsinghua University · Beijing University of Posts and Telecommunications · OpenBMB
将 verifier 奖励与 OPD 分数做组内归一化并构造有符号残差，用相对优势分配回 token，提升长上下文蒸馏效果
📌 工作参考价值（3 点）
- 在业务中做 LLM 蒸馏或 RLVR 时，若同时有 dense token 监督和稀疏 verifier 奖励（如点击、转化、人工评分），可借鉴 group 内归一化再相减的方式，避免两种信号尺度差异和 sign 错位。
- RACA 的相对优势信用分配适合多步交互场景，例如购物 Agent 的多轮工具调用、对话式推荐的 multi-turn 轨迹，可将最终奖励按 token 优势权重回传，比均匀分配更稳定。
- 不丢弃 dense 教师似然、只做组校准残差微调的思路可复用到生成式推荐或 RAG 后训练：保留 Next Token 监督，同时注入结果导向的 verifier 信号。
CROP：基于反事实的任务相关性用于选择性在线蒸馏
🧭 LLM 在线蒸馏中的 token 级样本选择
The University of Hong Kong
提出 CROP，通过反事实敏感性边际度量 token 级任务相关性，优化选择性在线蒸馏的监督分配
📌 工作参考价值（4 点）
- 在业务 LLM 蒸馏或微调中，可借鉴 CROP 对 token 级监督进行加权：仅重点关注与当前任务语义相关的 token，降低无关 token 的学习干扰。
- 利用构造「原始-释义-反事实」三元组来校准 token 敏感度，可用于评估指令中哪些部分真正驱动任务输出，辅助 prompt 精简或数据筛选。
- 方法不依赖外部标注，完全基于模型内部行为，适合线上持续学习或无法大量标注的推荐/Agent 场景。
- 可迁移到生成式推荐，例如对用户 query 或 item 描述生成时，判断哪些 token 影响最终推荐结果，提升蒸馏数据质量。
缩放视野而非参数：用 35B 智能体达到万亿参数性能
🧭 Agent 长时域扩展 · 多教师在线蒸馏 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
构建长轨迹知识-行动图与多教师在线蒸馏，让 35B MoE 智能体在科学、工程、搜索等长程任务上超越万亿参数模型
📌 工作参考价值（8 点）
- 长轨迹过程监督：KAG 构建思路可复用 \
- 论文将搜索、工具调用、验证信号统一为知识-行动图（KAG），每条训练轨迹平均 45K tokens，包含成功与失败的中间步骤。在电商搜索/推荐场景中，多轮对话推荐、深度商品调研等长程任务可借鉴此方式，把用户交互、工具调用、商品浏览记录构建为可训练的过程级监督数据，而非仅依赖最终答案。
- 多教师在线蒸馏的域路由设计 \
- 六个异构领域（搜索、工程、科学、指令跟随、工具调用）各训练一个领域教师，通过域路由的在线策略蒸馏（OPD）合并到单一 35B 学生，避免不同领域梯度冲突。电商中不同品类、不同阶段（召回/排序）的专家模型可用同样方式蒸馏为统一部署模型，通过领域标签路由教师信号，保持各领域专长。
- 显著词汇对齐（SVA）提升蒸馏效率 \
- SVA 仅约束教师高概率 token 子集（top-k 支持集）上的分布，避免全词汇表对齐引入噪声。在推荐生成式语义 ID 或文本答复时，可借鉴该技术，在蒸馏生成任务中聚焦关键 token，提高知识转移稳定性。
- RL 训练中的优势增强与数据复用 \
- 工具调用 RL 中利用过程评分为失败轨迹提供分级奖励（仅负数样本使用过程奖励），并用数据复用（64 个 hard case 反复 rollout）在少量步数内达到高效提升。当业务有少量高质量困难任务时，可复用该策略进行 RL 微调，降低对庞大数据集的依赖。
轨迹精炼蒸馏：缓解在线策略蒸馏的前缀失效
🧭 LLM 在线策略蒸馏 · 轨迹级纠正 ★ 深度解读
McGill University · Mila Quebec AI Institute · University of Texas at Austin
提出轨迹精炼蒸馏(TRD)，由教师修正学生生成的错误前缀后再进行蒸馏，突破token级干预局限
📌 工作参考价值（4 点）
- 在线蒸馏中，直接对错误轨迹做逐token KL会导致监督退化；可借鉴TRD思路：先用强模型（教师）修正学生生成的整个推理轨迹，再蒸馏，以根治前缀错误。
- 正向KL配合全词表匹配在蒸馏中更稳定，避免模式崩塌；在电商Agent的生成式推理训练中可优先采用此损失形式。
- 自蒸馏时，利用参考答案等特权信息生成精炼轨迹，能在不增加外部模型的情况下有效提升学生推理能力和探索宽度。
- 精炼轨迹通常更简短，可缩短训练序列、降低算力开销，适合大规模工业蒸馏任务。
相同证据，不同答案：面向多轮语言模型的规范上下文在线策略蒸馏
🧭 多轮对话一致性 · 在线策略自蒸馏 ★ 深度解读
Zhejiang University · University of Science and Technology of China
提出 CCOPD 自蒸馏方法，通过冻结的完整上下文教师来矫正多轮分片输入下的答案，消除自我锚定漂移，仅用数学训练即可泛化至多种任务。
📌 工作参考价值（4 点）
- 多轮交互下的答案一致性提升：在客服、推荐问卷、Agent 任务等逐渐收集用户需求的场景中，早期不完整回答容易引入错误先验。借鉴 CCOPD，可以用完整上下文的模型输出作为监督信号，对齐最终回复分布，缓解模型被自身历史“带偏”。
- 低成本训练策略：教师和学生使用同一基础模型，无需额外大模型或人工标注，仅需构造任务等价的分片-完整对，并通过 on-policy reverse KL 优化。训练数据仅用了数学题，却能零样本迁移到代码、SQL、摘要等任务，说明学到的是通用的证据锚定能力，适合资源有限的业务快速部署。
- 注意力和诊断工具可复用：文中提出的 SAAR（自锚注意力比）和 neutral-placeholder 替换实验，可用来探测业务多轮对话模型是否过度依赖自身历史回复，从而针对性地优化提示或训练数据。
- 训练范式优于推理时修复：与推理时反思或重置策略相比，CCOPD 将一致性内化到模型权重中，不增加推理延迟，适合对延迟敏感的在线应用。